Erich Hartmann sinh ngày 19 tháng 4 năm 1922 tại Weissach, Württemberg, con của bác sĩ Alfred Erich Hartmann và bà Elisabeth Wilhelmine Machtholf. Cuộc khủng hoảng kinh tế ở Đức sau Thế chiến thứ nhất đã buộc gia đình Hartmann phải đến tìm việc làm tại Trường Sa, Trung Quốc và suốt thời niên thiếu của Erich diễn ra tại đây. Gia đình ông trở về Đức năm 1928 khi cuộc chiến tại Trung Quốc nổ ra. Gia đình ông còn người em trai là Alfred về sau cũng là phi công của Luftwaffe, nhưng là xạ thủ trên máy bay ném bom bổ nhào Ju 87 phục vụ trên chiến trường Bắc Phi. Alfred bị bắt bởi quân Anh và trở thành tù binh chiến tranh suốt bốn năm.[3]

Erich tốt nghiệp Volksschule tại Weil im Schönbuch (Tháng 4, 1928–Tháng 4, 1932), Gymnasium tại Böblingen (tháng 4 năm 1932–tháng 4 năm 1936), Học viện Giáo dục Chính trị quốc gia tại Rottweil (tháng 4 năm 1936–tháng 4 năm 1937) và Gymnasium tại Korntal (tháng 4 năm 1937–tháng 4 năm 1940), nơi ông nhận được bằng Abitur. Tại Korntal, ông đã gặp người vợ tương lai của mình, bà Ursula "Usch" Paetsch.[4]

Sự nghiệp hàng không của Hartmann bắt đầu khi ông tham gia chương trình huấn luyện lái tàu lượn của Luftwaffe và được đích thân mẹ mình, một trong những nữ phi công tàu lượn đầu tiên tại Đức hướng dẫn. Gia đình ông còn sở hữu một máy bay hạng nhẹ nhưng buộc phải bán đi vào năm 1932 do khủng hoảng kinh tế. Khi Đảng Quốc xã lên nắm quyền vào năm 1933 và khuyến khích tàu lượn phát triển, năm 1936, bà Elisabeth Hartmann đã tham gia thành lập một trường huấn luyện bay tại Weil im Schönbuch. Erich khi đó mới 14 tuổi nhưng đã trở thành một huấn luyện viên tại đây. Năm 1939, ông có được bằng phi công và từ đó có quyền lái máy bay có động cơ.[5]